Buổi ban đầu

Vào những ngày đầu sự nghiệp của mình, Schmidt giữ một số vị trí về mảng công nghệ của một số công ty công nghệ thông tin như Bell Labs, Zilog và trung tâm nghiên cứu Palo Alto nổi tiếng của Xerox (PARC). Ông làm việc cho Sun Microsystems vào năm 1983 và dẫn đầu trong những nỗ lực phát triển Java của công ty, sau đó ông lên làm giám đốc công nghệ (CTO). Năm 1997, ông được bổ nhiệm làm CEO của Novell.

Schmidt rời Novell sau khi giúp công ty giành được Cambridge Technology Partners. Hai nhà sáng lập Google Larry Page và Sergey Brin đã phỏng vấn Schmidt. Bị ấn tượng bởi ông, họ tuyển dụng Schmidt để điều hành hoạt động của công ty vào năm 2001 dưới sự hướng dẫn của hai nhà đầu tư mạo hiểm John Doerr và Michael Moritz.

Google

Schimidt tham gia Google với chức chủ tịch hội đồng quản trị vào tháng 3 năm 2001 và trở thành CEO của công ty vào tháng 8 năm đó. Tại Google, Schmidt chia sẻ trách nhiệm về hoạt động hàng ngày của Google cùng với Sergey và Page. Theo như trang 29 của Google's 2004 S-1 Filing,[13] Schmidt, Page và Brin hoạt động Google theo chế độ chuyên chính tay ba. Schmidt có nhiều nhiệm vụ theo pháp luật như: CEO của một công ty công khai, tập trung vào việc quản lý chức phó chủ tịch và cơ quan buôn bán.

Theo website của Google, Schmidt cũng tập trung vào việc "xây dựng cơ sở hạ tầng cần thiết cho tập đoàn để duy trì tốc độ tăng trưởng nhanh của Google và đảm bảo chất lượng cao trong khi giữ cho thời gian phát triển sản phẩm ở mức tối thiểu".[14]

Năm 2007, PC World bình chọn Schmidt ở vị trí số một trong danh sách 50 người quan trọng nhất trên web cùng với hai nhà sáng lập Google Sergey Brin và Larry Page.[15]

Năm 2009, Schmidt được xem là một trong những "TopGun CEOs" bởi Brendan Wood International, một cơ quan tư vấn.[16][17]

Ngày 20 tháng 1 năm 2011, Google thông báo rằng vào ngày 4 tháng 4, Schmidt sẽ rời chức CEO của Google, nhưng sẽ tiếp tục làm chủ tịch hành chính của công ty và làm cố vấn cho Sergey và Brin. Page sẽ thay thế Schmidt cho chức CEO.[18]

Cuốn sách Bên trong Plex: Cách Google suy nghĩ, làm việc và định hình cuộc sống của chúng ta (In the Plex: How Google Thinks, Works, and Shapes Our Lives) xuất bản năm 2011 của Steven Levy cho biết, vào năm 2001, Schmidt đề nghị gỡ bỏ một đóng góp mang tính chính trị của ông ra khỏi kết quả tìm kiếm của Google. Lời đề nghị đã không được thỏa mãn. Schmidt đã phủ nhận và cho rằng điều này chưa hề xảy ra.[19]

Apple

Schmidt được chọn vào hội đồng quản trị của Apple vào ngày 28 tháng 8 năm 2006. Vào tháng 8 năm 2009, người ta thông báo rằng Schmidt sẽ từ chức và rút khỏi hội đồng quản trị của Apple do những sự mâu thuẫn nảy sinh trong sự cạnh tranh tăng trưởng giữa Apple và Google.[20]

Tổng thống Barack Obama

Schmidt là cố vấn viên của chiến dịch và là người đã đóng góp rất lớn cho Barack Obama. Và khi đã tuyên bố rời khỏi vị trí đó, ông đã quyết định sẽ vẫn ở lại là 'người đứng đầu nhóm liên quan đến chính phủ của Google'. Obama thậm chí đã xem xét ông cho chức Bộ trưởng Bộ Thương mại Hoa Kỳ.[21] Schmidt đã từng là cố vấn viên không chính thức của chiến dịch tranh cử tổng thống của Obama bắt đầu từ ngày 19 tháng 10 năm 2008, vào việc thay mặt cho người ứng cử.[22] Ông được nhắc đến như là một ứng cử viên có triển vọng cho chức giám đốc công nghệ do Obama tạo ra bởi sự ngưỡng mộ của ông đến Schmidt.[23] Trong thông báo để trả lời Obama, Schmidt nói một cách hài hước rằng với tiền lương 1 đô-la Mỹ của ông, thì ông sẽ phải được giảm thuế.[24] Sau khi Obama trúng cử, Schmidt là một thành viên của hội đồng tư vấn cho tổng thống Obama. Ông cho rằng cách dễ dàng nhất để khắc phục tất cả các vấn đề của Hoa Kỳ ngay lập tức, ít nhất là đối với các chính sách liên quan đến việc nội trợ, đó là bằng một chương trình có tác dụng kích thích đem lại nguồn năng lượng có thể khôi phục được, và trải qua thời gian, tham gia vào việc thay thế các nhiên liệu hóa thạch bằng năng lượng có thể khôi phục.[25] Từ đó ông đã trở thành viên mới của Hội đồng tư vấn Khoa học và Công nghệ của tổng thống, viết tắt là PCAST.[26]

Quỹ nước Mỹ mới

Quỹ "nước Mỹ mới" (New America Foundation) là một học viện chính sách công cộng phi lợi nhuận được thành lập năm 1999. Schmidt đã từng là chủ tịch Hội đồng quản trị. Ông đã lập James Fallows lên làm chủ tịch vào năm 2008.[27]